在深层网络和人工智能复兴的十年中，我们提出了一个理论框架，该框架阐明了一般智力的更大范围内的深层网络。我们介绍了两个基本原则，即简短和自持矛盾，我们认为这是智力，人为或自然的兴起的基石。尽管这两个原则具有丰富的古典根源，但我们认为可以以完全可衡量和可计算的方式重新说明它们。更具体地说，这两个原理导致了有效，有效的计算框架，即压缩闭环转录，该框架统一并解释了现代深层网络和许多人工智能实践的演变。尽管我们主要以视觉数据的建模为例，但我们认为这两个原则将统一对自主智能系统的广泛家庭的理解，并为理解大脑提供了一个框架。
translated by 谷歌翻译
在本文中，我们介绍了计算机视觉研讨会上的女性 - WICV 2022，与路易斯安那州新奥尔良的混合CVPR 2022一起组织。它为计算机视觉社区中的少数（女性）群体提供了声音，并着重于提高这些研究人员在学术界和工业中的可见性。 WICV认为，这样的事件可以在降低计算机视觉领域的性别失衡方面发挥重要作用。 WICV每年都会组织a）a）从少数群体的研究人员之间合作的机会，b）指导女性初级研究人员，c）向演示者提供财政支持，以克服货币负担，D）榜样的大量选择，他们可以在职业生涯开始时，是年轻研究人员的例子。在本文中，我们介绍了有关研讨会计划的报告，过去几年的趋势，关于WICV 2022讲习班的演示者，与会者和赞助的统计摘要。
translated by 谷歌翻译
面部抗泡沫（FAS）旨在将面部欺骗攻击与真实的攻击区分开，通常通过学习适当的模型来执行相关的分类任务。在实践中，人们期望将这种模型推广到不同图像域中的FAS。此外，假设将事先知道欺骗攻击的类型是不切实际的。在本文中，我们提出了一个深度学习模型，以解决上述域名抗繁殖任务。特别是，我们提出的网络能够将面部无性表示与无关的面部表述（即面部内容和图像域特征）相关。所产生的LIVISE表示表现出足够的域不变特性，因此可以应用于执行域将来的FAS。在我们的实验中，我们在具有各种设置的五个基准数据集上进行实验，并验证我们的模型在识别未见图像域中的新型欺骗攻击方面对最新方法的表现有利。
translated by 谷歌翻译
本文提出了将语音分离和增强（SSE）集成到ESPNET工具包中的最新进展。与以前的ESPNET-SE工作相比，已经添加了许多功能，包括最近的最新语音增强模型，并具有各自的培训和评估食谱。重要的是，已经设计了一个新界面，以灵活地将语音增强前端与其他任务相结合，包括自动语音识别（ASR），语音翻译（ST）和口语理解（SLU）。为了展示这种集成，我们在精心设计的合成数据集上进行了实验，用于嘈杂的多通道ST和SLU任务，可以用作未来研究的基准语料库。除了这些新任务外，我们还使用Chime-4和WSJ0-2MIX进行基准多链和单渠道SE方法。结果表明，即使在ASR以外的任务，尤其是在多频道方案中，SE前端与后端任务的集成也是一个有希望的研究方向。该代码可在https://github.com/espnet/espnet上在线获得。 HuggingFace上发布了这项工作的另一个贡献的多通道ST和SLU数据集。
translated by 谷歌翻译
聊天机器人在商业和科学环境中越来越普遍。他们帮助客户抱怨产品或服务或支持他们找到最佳旅行交易。其他机器人提供心理健康支持或帮助预订医疗预约。本文认为，可以洞悉用户的语言意识形态及其融洽的期望，可用于告知受众群体的语言和互动模式，并确保公平地访问机器人提供的服务。该论点的基础是三种数据的基础：与聊天机器人相互交互，促进健康约会预订，用户对其交互的内省评论以及用户的定性调查评论在与预订机器人交战后。最后，我将定义对话式AI的受众设计，并讨论如何以用户为中心的聊天机器人互动和社会语言知识的理论方法（例如融洽的理论管理）来支持受众设计。
translated by 谷歌翻译
对于基于深度学习的语音增强（SE）系统，训练测试的声学不匹配会导致显着的性能降解。为了解决不匹配问题，已经得出了许多噪声适应策略。在本文中，我们提出了一种新颖的方法，称为“噪声自适应语音增强”，该方法具有目标条件重新采样（Nastar），该方法在目标环境中仅减少了一个样本（一次性）噪声语音的不匹配。 Nastar使用反馈机制通过噪声提取器和检索模型模拟自适应训练数据。噪声提取器估计了嘈杂语音的目标噪声，称为伪噪声。噪声检索模型根据噪音信号池从相关的语音中检索相关的噪声样品，称为相关 - 波霍特。伪噪声和相关的托架集共同采样并与源语音语料库混合，以准备模拟的训练数据以适应噪声。实验结果表明，Nastar可以有效地使用一个嘈杂的语音样本将SE模型适应目标条件。此外，噪声提取器和噪声检索模型均有助于模型适应。据我们所知，纳斯塔尔（Nastar）是第一项通过噪声提取和检索进行单发噪声适应的工作。
translated by 谷歌翻译
当缺乏口头交流的范围时，例如，对于失去说话能力的患者，语言运动的产生和增强有助于沟通。尽管已经提出了各种技术，但电视学（EPG）是一种监测技术，记录了舌头和硬口感之间的接触，但尚未得到充分探索。本文中，我们提出了一种新型的多模式EPG到语音（EPG2S）系统，该系统利用EPG和语音信号进行语音产生和增强。研究了基于EPG和嘈杂语音信号的多种组合的不同融合策略，并研究了该方法的生存能力。实验结果表明，EPG2仅基于EPG信号实现了理想的语音产生结果。此外，观察到嘈杂的语音信号的添加以提高质量和清晰度。此外，观察到EPG2S仅基于音频信号实现高质量的语音增强，而添加EPG信号进一步改善了性能。晚期的融合策略被认为是同时言语产生和增强的最有效方法。
translated by 谷歌翻译
最近，基于深度学习（DL）的非侵入性语音评估模型引起了极大的关注。许多研究报告说，这些基于DL的模型产生令人满意的评估性能和良好的灵活性，但是它们在看不见的环境中的性能仍然是一个挑战。此外，与质量分数相比，更少的研究详细阐述了深度学习模型以估计可理解性得分。这项研究提出了一个多任务语音可理解性预测模型，称为MTI-NET，用于同时预测人类和机器的可理解性度量。具体而言，鉴于语音话语，MTI-NET旨在预测人类的主观听力测试结果和单词错误率（WER）分数。我们还研究了几种可以改善MTI-NET预测性能的方法。首先，我们比较不同功能（包括自我监督学习（SSL）模型的低级功能和嵌入）和MTI-NET的预测目标。其次，我们探讨了转移学习和多任务学习对培训MTI-NET的影响。最后，我们研究了微调SSL嵌入的潜在优势。实验结果证明了使用跨域特征，多任务学习和微调SSL嵌入的有效性。此外，已经证实，MTI-NET预测的可理解性和WER得分与地面真实分数高度相关。
translated by 谷歌翻译
提高用户在嘈杂环境中理解语音的听力能力对于助听器设备的开发至关重要。为此，得出一个可以公平地预测HA用户语音清晰度的度量标准很重要。一种直接的方法是进行主观听力测试，并将测试结果用作评估度量。但是，进行大规模的听力测试是耗时且昂贵的。因此，将几个评估指标得出作为主观听力测试结果的替代物。在这项研究中，我们提出了一个多支链的语音可理解性预测模型（MBI-NET），以预测HA用户的主观可理解性评分。 MBI-NET由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可理解性预测模型组成，以从一个通道处理语音信号。两个分支的输出通过线性层融合，以获得预测的语音清晰度得分。实验结果证实了MBI-NET的有效性，MBI-NET的有效性比轨道1中的基线系统和轨道2在Clarity Preditation Challenge挑战2022数据集中产生的预测分数更高。
translated by 谷歌翻译
由于使用深度学习模型作为基本功能，语音增强（SE）的性能已大大提高。本文中，我们提出了一种感知对比度拉伸（PC）方法，以进一步提高SE性能。 PC是基于临界频带重要性函数得出的，并应用于修改SE模型的目标。具体而言，目标特征的对比是根据感知重要性拉伸的，从而提高了整体SE性能。与基于后处理的实现相比，将PC纳入培训阶段可以保留性能并减少在线计算。值得注意的是，PC可以与不同的SE模型架构和训练标准结合使用。此外，PC不影响SE模型训练的因果关系或收敛性。 VoiceBank按需数据集的实验结果表明，所提出的方法可以在因果关系（PESQ得分= 3.07）和非causal（PESQ分数= 3.35）SE任务上实现最先进的表现。
translated by 谷歌翻译